访谈系列·E01S02｜从「维特根斯坦」“语言游戏”到「Ilya」的 “LLM GPT智能体” （一）
图｜汤源
文｜汤源
“
𝕀²·ℙarad𝕚g𝕞智能平方范式研究任重道远。
正是从皮衣老黄对于Ilya的访谈解读开始了我的智能探索之旅。访谈系列第二季3篇把能找到的Ilya的访谈整体做了梳理解读。Ilya系列访谈解读E01S02 - 基于ANN的深度学习大语言模型极简而美妙。
题记
▩何为“智能体”（Intelligent Agent）？
查阅“维基百科”，一个能与环境交互的基本的“智能体”结构由三个部分组成：感知，认知与行动。
▩大语言模型GPT的出现到底意味着什么？
在笔者23年开始研究这波AI时的一篇文章【互为Prompts：大语言模型的预训练智能体到底意味着什么？】针对人类与大语言模型的交互做了一点粗浅的探讨，更多的是罗列了一个现象，以及人脑神经网络与人工神经网络学习语言文字的资料参考。
个人比较赞同陆奇博士把这一波以GPT为代表的大模型智能体的突破，列为与农业化、工业化并列的人类文明发展正式进入划时代的“数字化”阶段。
陆奇博士是从人作为一个智能体的自由度维度来解读人类生物智能体改造物理世界环境以及技术驱动人类社会发展的：
-农业时代，人类驯化种子，与土地绑定利用工具，获得了人口繁殖所需的稳定的食物来源（本质上是生物智能体的生命维持能量需求）。
-工业时代，人类创造机器，农业实际上也工业化了，以及食品工业化，人类实际上与土地松绑但是与机器绑定，一部分人随着机械化、电气化、电子化，体力劳动下降，从商品经济流出的剩余劳动力则为以脑力劳动为主的服务经济出现创造了条件。
-数字时代，人类则由信息、语言到行动训练基于ANN的模型，实际上是从PC出现开始：数字化-信息无处不在，数字化-模型无处不在，以及数字化：自主化行动无处不在。
具体的解读各位可以参考相关演讲实录。
我个人也比较赞同把信息化归为数字化的第一阶段，围绕信息的第一代系统随着1995/96年互联网的出现以及2010s的互联网移动化，使得信息无处不在。
陆奇博士根据人类智能体的组成提出了以基于ANN的大模型为主要特征的第二代系统则会使得机器可以学习并处理并生成信息，使得知识产生不再是人脑独有而变得无处不在；第三代系统则是以机器智能体为主体数字世界的形成以及对于物理世界的影响改造，使得行动无处不在。
笔者深受陆奇博士思考启发（被prompts了），转而从智能体本身数字化的维度做了粗浅地思考：
“大语言模型GPT突破人类语言理解生成”，这件事我目前的认知，是人类语言的数字化，也就是认知系统的数字化，使得机器智能体有了数字化的思考能力。
围绕信息的第一代系统，可以认为是信息的数字化，原来印刷的信息、或者人类感知的信息，变成了二进制编码，可以被计算机处理，尤其是视觉图片、音频、基于IOT的空间感知信息，以及背后的处理技术，都是感知系统数字化，使得机器智能体有了数字化的感知能力。
在信息数字化、语言数字化的进展基础上，以自动驾驶、机器人、无人工厂、3D打印等行动系统数字化必将进展加速。
一旦机器智能体所必须的这三个数字化系统发展到一定程度，必然就是人工智能奇点时刻降临，也就是以机器智能体为主体硅基文明诞生之日。这两天又被Ilya的导师，AGI教父Geoffrey Hinton从google离职为AGI面临的风险发声的新闻刷屏，从我个人最近接触到的信息判断，主要是目前以GPT-4为代表的智能体具有太多未知以及不可控的风险，而且AGI军备竞赛已经引发，这里面的风险笔者理解有两个层面：
生物智能体也就是人类对机器智能体的不当利用
机器智能体自身自主意志不明、不当以及不可控
理解GPT现象的捷径
言归正传，笔者自三月份以来，潜心研究以GPT为代表的这波AGI现象，并将一些心得发表于朋友的“AI范儿”公众号。
正所谓“AGI一日，人间一年”。每天被层出不穷的AIGC新应用、AGI研究论文、大模型更新、垂直模型开源与发布、AGI产业界新闻等信息轰炸，某种意义上，对我业已训练了50年的大脑生物神经网络是个巨大的考验，我必须要找到一个学习这种现象级的新事物的学习模型，或者称为捷径。
寻找现象背后的本质并做深度思考后分享
从现象背后的灵魂人物的言行中学习解读
其它的应对策略可以参见前文【R U Ready? 通用人工智能变革浪潮个人应对5策】。
▩ 现象背后的灵魂人物访谈解读
从我一系列发布的分享可以看出，我所谓理解GPT现象的捷径，无非就是找到灵魂人物Ilya，OpenAI首席科学家，解读了大神一系列访谈，参见：
访谈系列·E01S01｜AI大神Ilya访谈揭秘GPT-4成功背后的关键，20年如一日的AGI坚守终惊艳世界
访谈系列·E02S01｜llya的AGI信念：为伊消得人憔悴，十年终迎GPT震撼崛起
访谈系列·E03S01｜GPT-4成功背后灵魂人物Ilya访谈解读——从预训练模型到可靠可用AGI
以及对现象级产品发布的论文或技术报告进行解读。具体参见原公众号几篇关于GPT-4安全、大模型涌现能力等的解读文章。
▩ 现象本质的思考与理解
说到现象本质，当然离不开哲学思考。AGI、智能体、以及语言，这些本身就是非常高频的哲学思考对象。
从Ilya的访谈里，可以有效提取值得进一步深究的相关探索信息。从访谈中描述的“利用大模型预测文本序列中的下一个词，就能参透人类语言秘密”， 本身就极具吸引力，所以狠狠的看了GPT系列论文解读视频，对于大模型的transformer架构的不同使用的了解，以及大神不同层次访谈的解读都非常受益；同时也可以了解一下语言本身的局限性，兼听则明，LLM GPT产业界也有不同的声音，所以也从语言哲学家维特根斯坦说的“The limits of my language mean the limits of my world.”理解了Ilya说的GPT具备了文本描述的真实世界的内涵，Meta的AI大神Yann LeCun也强调语言文本的局限性，以及直接怼自回归大语言模型sucks。
最近几天又翻了翻复旦大学哲学系徐英瑾教授的“维特根斯坦哲学和人工智能科学的对话”，其中解释了为什么搬出维特根斯坦来写作本书：
维特根斯坦所创的“语言游戏”这条崭新的语言哲学之路，澄清了语言的本质并不是静态的符号系统，而是思维交流的用具。一方面语言可以用来表达外部世界，另一方面本身俱备其用法上的含义。从字面上看，大语言模型GPT的核心方法（本文附录访谈解读有提到）：训练一个大型人工神经网络来从先前的词猜测文本中的下一个词，何尝不就是一种在ANN上玩的语言游戏？
当然徐教授这本书成书于2013年，再版于2022年，其时应该NLP领域的大语言模型GPT系列还没有进入教授的研究视野，非常期待有机会再次看到徐教授对于GPT现象的思考分享。
附录：Inside OpenAI [Entire Talk]byStanford eCorner
Ilya大神极简版“GPT工作机制”解释：ANN，BP算法，LLM文本训练，预测错误优化
💡 “GPT如何工作”的解释实际上可以既简单又极其美妙。
▩ ANN
众所周知人类大脑是迄今为止世上最好的智能体样本，由大量的神经元组成的神经网络【注：人类大脑含有数百种不同类型、总数达近千亿（10的11次方）个的神经元，神经信号经由神经元间的突触联接（总数约10的15次方）所形成的神经环路进行接受、传递和处理】，脑神经科学家们数十年来一直试图精确搞清楚它们是如何工作的。
尽管我们的生物神经元的运作仍然神秘，但最早在上世纪40年代的深度学习研究人员提出了一个大胆的推测：（凑近看的话）就是假设可以有一种类似生物神经元的人工神经元（组成人工神经网络ANN），现在我们有了已经运行的人工神经网络，而且人工神经元运行机制更简单，可以从数学方法上进行研究。
▩ BP算法
后来非常早期的深度学习（那时候还不叫深度学习）先驱们又取得了一项非常重要的突破，就是发现了反向传播算法（BackPropagation Algorithm)，这个算法具体的数学方程定义了ANN应该如何学习，也使得我们可以在一个大型计算集群上，部署实现这个神经网络代码，然后还有一个方程可以编程实现，告诉我们这个神经网络应该如何调整神经元之间的联接参数，并从经验中学习。
理解这个学习过程有多好和有多强大，以及在何种精确条件下这个学习过程效果最佳，促进了后续一系列额外的进展，尽管我们使用计算机取得的，但这个过程有点像生物学实验。深度学习的大部分进展可以浓缩归结为：我们可以在大型计算集群上构建这些人工神经网络，并可以在某些数据上训练它们，使这些大型神经网络做训练数据要求它们做的任何事情。
▩ LLM文本训练
大型语言模型（LLM）的背后的想法是：如果有一个规模非常大的人工神经网络，可能现在接近人脑容量规模，我们可以训练它来从一段文本中的前面几个单词猜测下一个词。这就是大型语言模型的概念，训练一个大型人工神经网络来从先前的词猜测文本中的下一个词，我们所想达到的目的是神经网络尽可能准确地猜测出下一个词。
当前我们需要回到最初的假设，就是可能人工神经元与生物神经元没太大不同。所以如果有一个像这样的大型人工神经网络，可以很好的猜测下一个词，那么它可能与人类在说话时所做的事情没什么不同。这就是当前我们得到的结果，当你与这样的人工神经网络对话时，它具有极佳的对接下来对话、下一个词的理解，它可以缩小范围，虽然不能看到未来，但它可以根据其理解精确缩小下一个词可能性范围，能够非常准确地猜测下一个词，这就是预测，这是ANN理解运作的方式。
▩预测错误优化
人工神经网络语言理解意味着什么？难以给出一个清晰的答案，但很容易测量和优化ANN对下一个词的预测错误。我们不一定理解(内部发生了什么)，但我们可以优化预测，这就是我们所做的。这就是目前大型语言模型如何产生的：它是大型人工神经网络，使用非常强大的反向传播算法进行训练。如果你愿意想象人工神经元与生物神经元没有太大不同，那么是的，像我们的大脑一样，它们可以做得非常好，能够猜测下一个词。
GPT很强，但其ANN的学习模式与人类大脑有巨大差异
💡 “GPT的大模型学习速度以及数据约束，与人类大脑的对比”
▩学习能力与所需的样本数据量差异
不太好直接拿ANN比较我们人类神经网络的学习效率，因为目前人类生物大脑能从更少的数据中学习更多。这就是为什么像ChatGPT这种神经网络需要如此多的数据来“补偿”它们初始学习能力缓慢的原因。
随着我们训练这些神经网络，使它们变得更好，学习能力开始变好变快。但总的来说，人类学习的方式与这些人工神经网络的方式截然不同。例如，这些人工神经网络仅仅在数学或编程方面非常精通，但要达到一定的水平，比如精通微积分，需要大量的教科书训练，而人类学习微积分可能只需要两本教科书和200多个练习题就可以了。
▩GPT的运作智能水平
要量化目前GPT的智能水平仍然很难。让我解释一下，为什么我会比较犹豫给出一个可能会产生误导的量化数字。因为目前，任何这样的神经网络在知识范围和规模方面肯定都超越人类。例如，它们在诗歌和任何话题上发言都很流畅，它们可以谈论历史事件和许多事情；但另一方面，人类可以进行深入研究。一个专家会对某个话题有深入的理解，尽管可能只读过少量文档。由于这种差异，我真的犹豫给出一个这个问题的类似“某个量化数字”的答案。
▩GPT智能体的奇点预测
机器在学习和适应速度方面的进步何时会超过人类？这些事情的不确定性相当大，因为这些进步可能需要相当长的时间，也可能在某些年内出现。有很多推动力，但很难给出一个较准的答案。
GPT有没有意识？未来有可以验证的方法
💡 GPT的意识问题
▩对人和GPT这样的智能体，意识都是一个棘手的问题
在意识的问题上，小时候我会看看我的头，我会想我怎么会看到我的手，我怎么能看到自己？我不知道如何解释得更清楚，所以这是我感到好奇的事情。意识是棘手的，如何定义它？它长期以来一直难以定义，那么你如何在一个系统中测试它？也许有一个系统可以完美地运行，完美地按你的预期运行，但是由于某种原因，它可能并没有自主意识。
▩GPT智能体是否有意识？未来可以有验证的方法
我确实认为有一个非常简单的方法，有一个实验可以验证AI系统(是否有意识)，但我们现在还不能运行。但也许在未来，当AI能从更少的数据中学习得非常快时，我们可以做如下实验：我们可以非常仔细地整理训练数据，永远不会(在训练数据里)提到意识的任何事情，我们只会说"这里有一个球，这里有一个城堡，这里有像一个小玩具"，你可以想象这种类型的数据，它会非常受控，可能会有几年的这种训练数据。
这样的AI系统会与许多不同的人类训练师互动，从他们那里学习，非常仔细，但永远不会谈论意识，人们不会和AI谈论除了最表层的经验概念之外的任何事情。然后在某个时候，和这个AI坐下来，说好的，我想告诉你意识，这是人所描述但不是很清楚的现象，人们对此有不同的看法。想象一下，如果AI说"天哪，我也有同样的感觉，但我不知道如何表达"，那就有意思了，这肯定是值得(研究人员)考虑的事情。
如果AI只是被训练来处理非常平凡的数据，关于物体和移动，或者你知道的某些非常狭隘的概念。我们不提意识，但AI最终还是以我们能认出来的方式雄辩和正确地谈论，那(AI拥有意识)将是令人信服的。
▩类GPT这样的ANN智能体有意识，更多是一个程度的问题
我认为这更多是一个程度的问题。假设一个人非常疲倦，或者也许喝醉了，那么也许有人在那个状态下时，他们的意识可能已经在某种程度上减弱了。我可以想象动物有一个更加减弱的意识形式，如果你想象(意识)从类人猿，到狗和猫，然后到老鼠，甚至到昆虫，我会说意识是相当连续的(发展过程)。
GPT商业化的开源与闭源选择
💡 首席科学家的道义选择
▩Ilya在OpenAI的角色
我这样看待我所担任的角色：我对OpenAI所做的事情感到直接责任，尽管我的角色主要是推进科学进步，但事实上，我仍然是公司的创始人之一，最终，我非常关心OpenAI的总体影响。
▩OpenAI商业与技术选择
现在，我想继续谈论开源与闭源，和非营利与营利，我想从开源与闭源开始。
我认为AI面临的挑战是全方位的，涵盖了许多不同的挑战和危险，这些挑战和危险彼此矛盾。我认为开源与闭源是一个很好的例子。为什么开源是理想的？让我这么说吧，开源AI有什么好处？答案是：防止AI建设者手中集中权力。
如果你生活在一个世界上，比如只有少数公司控制这种非常强大的技术，你可能会说这是一个不理想的世界，AI应该是开放的，任何人都可以使用AI。这是开源的论点。
当然也有因为商业回报反对开源，但还有另一个长期的论点也反对开源：那就是如果我们相信，AI最终会变得无与伦比的强大，如果我们达到一个AI如此强大的程度，你可以简单地告诉它：“你能主动创建一个生物学研究实验室吗？主动完成所有的文书工作，运营工作空间，招聘技术人员，聚合实验，主动完成所有这些事情"。
当AI开始变得令人难以置信的强大，难道这也应该开源吗？
所以我对开源问题的立场是：我认为可以考虑这些神经网络的能力。它们有多智能，能做多少事情。当能力较低时，我认为开源是一件好事，但在某个时候，(具体是哪个时候)可以辩论一下，但我会说，在某个时候，能力会变得如此巨大，以至于开源AI模型是明显不负责任的。
我要表达的意思是，在我看来，当前AI的能力水平还不高，不至于因为安全考量而闭源模型。这种研究目前确实是竞争阶段。我认为，这些模型的能力如果继续增强，将有一天，安全考量会成为不开源这些模型的明显和直接的驱动力。
这是开源与闭源的问题，但您的问题还提出了另一个方面，即非营利性与营利性。我们也可以讨论这个问题。
事实上，从某种意义上讲，如果OpenAI能够一直保持非营利状态，直到完成使命，那将是更可取的。
然而，值得指出的一点是，这些数据中心的成本非常高昂。我相信你读过各种AI初创公司筹集的资金数额，其中的绝大部分都流向云计算提供商。为什么会这样？原因是训练这些大型神经网络需要大量计算资源，这是很明显的。
你可以看到目前学术界和AI公司之间正在发生的分化。长期以来，数十年来，人工智能领域的尖端研究都在大学的学术部门进行。这一情况一直持续到2010年代中期。但在某个时候，这些项目的复杂性和成本开始变得非常高昂，大学无法与业界竞争，现在大学需要找到其他方式来获得(资源)。这些方式确实存在，只是和当前公司获得资源的方式不同。
在这种背景下，非营利组织的问题是，向非营利组织捐款的人永远不会看到任何回报，这是真正的捐赠。不管你信不信，让人向非营利组织捐款实际上要困难得多。
所以，我们在想，解决方案是什么，可以好的可以采取的行动？所以我们想出了一个我所知世界上所有公司结构中独一无二的主意。OpenAI 的公司结构是绝对独一无二的。OpenAI 不是一家营利性公司，它是一家限制利润的公司。
我想解释这意味着什么。这意味着OpenAI的股权更像债券而不是正常公司的股权。债券的主要特征是一旦支付就消失了。换句话说，OpenAI对其投资者的义务是有限的，而不是正常公司对其投资者的无限义务。
联合创始人中萨姆·奥尔特曼没有股权，但其他创始人有有限的股份。OpenAI的股权设置与正常的创业公司股权不同，但也有一定相似之处，比如越早加入公司，限制越高，因为需要更高的限制来吸引初期投资者。随着公司继续成功，限制会降低。
这为什么重要？这是因为这意味着当公司向投资者和员工支付完所有义务后，OpenAI会再次成为一家非营利组织。你可能会说这完全疯狂，这不会改变任何事情。但值得考虑的是我们期望什么，更重要的是考虑我们认为AI将成为什么。
我认为OpenAI实现其使命，向投资者和员工支付义务，在计算机变得更强大的时期成为非营利组织，这时经济动荡会很大，这种转变将非常有益，这并不令人难以置信。这是限制利润与非营利的答案。
▩OpenAI与微软的关系：投资与信托责任
前面的问题还有最后一部分，我知道我讲了一会儿，但最后一部分是与微软的关系。
在这里，非常幸运的是，微软正在以正确的方式思考这些问题，他们理解通用人工智能（AGI）的潜力和严重性。例如，在OpenAI的任何投资人签署的所有投资文件上，包括微软在内，微软是OpenAI的投资者，这与谷歌DeepMind的关系非常不同，任何签署任何投资文件的人都会在投资文件顶部看到一个紫色的长方形，说明OpenAI的信托责任是OpenAI的使命，这意味着如果使命与之相悖，你就有可能损失所有的钱。但这是所有投资者都签署的内容。（谷歌收购了DeepMind，所以DeepMind只是谷歌内的一项资产，但是OpenAI，微软是投资者，受限于对OpenAI使命的信托责任，而这一责任由非营利组织持有。）
类GPT的AGI安全问题：对暂停AI竞赛的回应
💡 AGI应该明确监管下合理进步
的确，AI将变得极其强大和极其变革性。我确实认为，我们将要走向一个有明智政府监管的世界，这里有几个维度。
我们希望生活在一个有明确规则的世界，至于是否继续训练更强大的神经网络，我们希望对这些神经网络今天能做什么，以及我们预期在一年内或训练完成时能做什么进行仔细的评估和预测。
理性地，我不会用“放慢进步”这一词，我会用“使进步合理”来描述。
这样，在每一步中，我们都做了功课，事实上，我们可以作出一个可信的说法，即“我们训练的神经网络系统正在做这件事，这里是所有的步骤，它已经被验证或认证。”我认为这就是我们要走向的世界，这也是正确的。
至于公民义务，我会这样回答，有两个答案。显然，我住在美国，我真的很喜欢这里，我想要这个地方尽可能繁荣兴旺。我当然关心这个；当然，世界远不止美国，这些国家之间的关系将如何解决，我认为这些问题有点超出我的专业知识，但我相信也会有很多讨论。
技术进步是OpenAI的关键KPI
💡 通向AGI的技术进步
最神圣的关键业绩指标，我认为这也是不同人会给你不同答案的问题类型。
但如果我真的要缩小范围，我会说，有几个真正重要的KPI，其一无疑是技术进步。
我们做了好研究吗？我们对我们的系统有更好的理解吗？我们能更好地训练它们吗？我们能更好地控制它们吗？我们的研究计划得到很好的执行吗？我们的安全计划得到很好的执行吗？我们对此多么满意？我会说这将是我对主要KPI的描述，做一项很好的技术工作。
当然，还有产品方面的事情，我认为这很酷，但我会说，核心技术才是OpenAI的心脏，关于这项技术的开发，控制和操纵。
OpenAI产品方向是往前贴近应用还是靠后作为基础设施？事情变化得如此之快，我不能对五到十年内的正确产品形态做出任何断言。我想到的可能有点两者兼有的意思，但这种问题还有待观察。我想有可能两种情况都有，但这些事情还很新。
Ilya给Standford学生的建议
💡 直觉是最好的方向（Intuition is all you need）
我认为在第一个方面，总是很难给出通用的建议。但我仍然可以提供一些通用建议。我认为，一般来说，最好利用自己独特的倾向。你知道，每一个人，如果你想想人可能拥有的一系列倾向、技能或天赋的组合，这样的组合非常罕见。不管你选择何种方向，利用这一点都是非常好的主意。
关于人工智能研究，我可以说一些东西，但是你要倾向于你自己的想法，真正问自己你能做什么，是否有些对你来说完全明显的东西，让你觉得为什么其他人都没有理解。如果你有这种感觉，这是一个好迹象，这意味着你可能(可以做些事情) 我们要倾向于这一点，探索它，看看你的直觉是真是假。
我的导师Jeff Hinton说过这么一件事，我真的很喜欢，他说你应该信任你的直觉，因为如果你的直觉很好，你会走得很远，如果不好，那也没办法(笑)。
至于创业来说，我觉得这是一个你的独特视角是否更有价值甚至至关重要的地方。也许我会解释为什么我认为在研究中(这种独特视角)更有价值，在研究中它也非常有价值；但是在企业中，需要利用你独特的生活经历，你看到了哪些东西，看到哪些技术，看看你是否可以聚焦在某个方面，然后真的去做。
所以这就是我通用建议的结论。
深度学习的未来5-10年
💡 ANN的规模红利还未见顶
▩ANN规模化需要更多算力
我预期深度学习会继续取得进展。有一段时间，很多进展来自规模化，我们在从GPT-1到GPT-3的过程中看到这一点最为明显。但是事情会有一点变化。规模化进展如此迅速的原因是因为人们有这些数据中心，因此，仅通过重新分配现有资源，就可以取得很大进展。重分配现有资源不一定需要很长时间，只需要某人决定这样做。现在不同了，因为训练规模太大了，规模化的进展不会像以前那么快，因为建设数据中心需要时间。
但与此同时，我预计深度学习会从其他方面继续取得进展。深度学习的技术栈非常深，我预计会有许多层面的改进，结合在一起，仍然会带来非常稳健的进展。我猜想可能会有新的，目前未知的深度学习属性被发现，这些属性将被利用，我完全预期未来五到十年的系统将远远好于目前我们拥有的系统。但具体怎么样，我认为这有点难以回答。因为改进可能只有一小部分重大改进，还有大量小改进，都集成在一个大型复杂的工程产物中。
▩GPT规模化尚未见顶，但后面的进步更难
至于联合创始人Sam Altman提到的我们已经达到通过扩大语言模型规模能取得的最大限度(进展)的说法。我想也许，我不记得他具体说了什么，但也许他的意思是轻易扩展（Easy Scale）的时代结束了，或者类似的意思，比如更大的神经网络当然会更好，但要做起来需要很多努力和成本。但我认为会有很多不同的创新前沿，一些可能被其他人忽略的前沿会非常有成果。
▩垂直领域模型与专业数据集问题
（只有AGI广义训练）到一定程度，我们才应该期待专业训练产生巨大影响，但是我们进行广义训练的原因仅仅是为了达到神经网络甚至能理解我们提出的问题的程度；只有当它有极其扎实的理解力时，我们才能进入专业训练，真正从中受益。我认为所有这些都是可能有成果的方向。
如果你看看开源工作的人，在开源模型的工作里，他们做了不少这种专业训练，因为他们有一个相对较弱的模型，试图从中获得任何一点性能提升。所以我会说这是一个例子，一定程度上，如何训练模型这不是非此即彼的，你可以把它看作是一个连续的过程。
所以我认为也许把AI看作多因素的组合会更有成效，每个因素都做出贡献。拥有帮助你在一系列任务中提高AI的专业数据当然更好，拥有更强大的基础模型当然更好，从具体任务的角度来看，这也许就是答案。
OpenAI在一定程度上仍然对学术界开放
💡 学术访问计划
▩作为开放与封闭的中间路径
OpenAI有一个学术访问计划，我们提供各种形式的模型访问，事实上，许多学术研究实验室确实以这种方式研究它们。所以我认为这种方法是可行的，这是我们正在做的事情。
我认为这与我们早先关于开放与封闭的问题有关。我认为有一些具有成效的中间方法，例如，可以访问的模型和各种组合都可以非常有生产力，因为这些神经网络已经有如此大且复杂，仅仅研究这一点就可以极其有趣。
▩OpenAI对Ilya与团队的影响
对个人来说，我不会说这是未知的，但我真的很喜欢GPT的诗歌创作能力。你可以写诗，说唱，它可以很有趣。
对OpenAI团队来说，现在最好的描述是，在AI影响下每个人的生产力都略有提高，人们对事情更在行。我不会说现在对团队动态有明显影响，但可以说，已经开始发生一些转变。
▩GPT会不会是对话非人类化？
绝对不会那样，我预测不会那样，但我们拭目以待。
END
附录：𝕀²·ℙarad𝕚g𝕞智能平方范式研究
H𝕀：Humanity Intelligence [Sys1&2@BNN]
A𝕀：Artifical Intelligence [LLM@ANN]
𝕀²：H𝕀 𝕩 A𝕀 [bio- | silico-]
ℙarad𝕚g𝕞：认知范式或BNN认知大模型
A𝕀与H𝕀当前在玩一个语言游戏。A𝕀最大的问题是已知一点白
往期推荐
互为Prompt ｜ 大型语言模型的预训练·GPT智能到底意味着什么？
AI平方范式智库·数学系列E03S01 ｜ 神经网络背后的数学
Ilya公布神级AI论文30篇，带你Feel the AGI！
AI平方范式智库·访谈系列E03S01 ｜ 从预训练模型到可靠可用AGI
扫码加群，
链接智库！
AI平方范式智库
那些prompt了我的，
是否也prompt了你...